大数据中间件层具备哪些功能

大数据中间件层具备以下这些功能：

• 负载均衡：负载均衡建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。负载均衡（Load Balance）其意思就是分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务。

• 访问控制：访问控制是给出一套方法，将系统中的所有功能标识出来，组织起来，托管起来，将所有的数据组织起来标识出来托管起来， 然后提供一个简单的唯一的接口，这个接口的一端是应用系统一端是权限引擎。权限引擎所回答的只是：谁是否对某资源具有实施 某个动作（运动、计算）的权限。访问控制是几乎所有系统（包括计算机系统和非计算机系统）都需要用到的一种技术。访问控制是按用户身份及其所归属的某项定义组来限制用户对某些信息项的访问，或限制对某些控制功能的使用的一种技术，如UniNAC网络准入控制系统的原理就是基于此技术之上。访问控制通常用于系统管理员控制用户对服务器、目录、文件等网络资源的访问。

• 资源共享：在网络中，多台计算机或同一计算机中的多个用户，同时使用硬件和软件资源。通常多用户同时需要的资源总是超过系统实际物理资源的数量，但采用逻辑（或虚拟）资源分配的方式，实现资源共享，可较好地处理这个矛盾，从而提高计算机的使用效率。但必须由操作系统进行协调管理，才能避免混乱。资源”是指网络中所有的软件、硬件和数据资源。共享”指的是网络中的用户都能够部分或全部地享受这些资源。例如，某些地区或单位的机票、酒店可供全网使用；某些单位设计的软件可供需要的地方有偿调用或办理一定手续后调用；一些外部设备如打印机，可面向用户，使不具有这些设备的地方也能使用这些硬件设备。

• 业务处理：虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

• 数据脱敏：数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。数据安全技术之一，数据库安全技术主要包括：数据库漏扫、数据库加密、数据库防火墙、数据脱敏、数据库安全审计系统。

• 数据隔离：数据安全隔离技术是DSA源代码防泄密的核心。其通过网络加密、存储隔离、端口隔离及磁盘加密，形成完整的四重底层安全机制。该安全机制在客观上形成以加密子网为边界的彻底物理隔离的坚实安全基础。数据安全隔离技术原理并不是对某个应用进程的隔离，与上层应用进程无关。基于进程HOOK技术的隔离，只能形成应用层进程级源代码防泄密效果，与数据安全隔离技术完全不同。